안녕하세요. 인포팀입니다.
2026년 9월 7일 01시 16분 경, 02시 26분 경 지글 모바일 사용자들에게 다량의 알림이 발송 되었습니다.
이 게시글은 해당 장애와 관련하여 어떠한 일이 발생했고, 어떻게 조치를 취하였는지에 대한 이야기입니다. 또한 장애 보고서를 작성하는 것은 앞으로 이러한 일이 일어나는 것을 사전에 막기 위한 노력이며, 인포팀은 이후로도 안정적인 서비스 제공을 위해 최선을 다할 것입니다.
요약
지글 모바일 앱을 사용하는 유저들에게 01시 16분 경, 02시 25분 경 다량의 알림이 발송되었습니다.
지금은 관련한 문제가 모두 해결 되었습니다.
이러한 장애가 발생한 것에 대해 깊이 사과드리며, 안정적인 서비스를 제공할 수 있도록 노력하겠습니다.
2026년 9월 7일 01시 16분 경 장애
발생한 일
기존의 학사 공지가 고정된 공지에 의해 두번째 페이지로 밀려, 새롭게 추가되는 학사공지들이 지글에 반영되지 않는 문제가 있었습니다.
지글 개발팀에서는 이 문제를 해결하기 위해 두번째 페이지의 학사 공지도 수집(크롤링) 하도록 크롤링 서버를 수정하였습니다. 하지만 이 수정 과정에서 기존에는 첫번째 페이지에 있었던 이미 수집된 공지가, 두번째 페이지로 넘어간 뒤 중복 수집되는 문제가 발생하였습니다.
해당 수정사항은 2026년 9월 7일 00시 44분경 배포 되었고, 이때 배포된 크롤링 서버는 01시 00분 경에 실행 되었습니다. 지글의 알림 발송 규칙에 따라 15분 뒤인 01시 16분 경 사용자에게 알림이 발송 되기 시작하였습니다.
원인
이미 크롤링 된 공지를 더 이상 크롤링 하지 않기 위해서는 각 공지를 구분할 필요가 있는데, 이때에 제목은 수정 될 수 있기 때문에 각 공지를 구분하는 멱등키로 제목 대신에 URL을 사용하고 있었습니다. 다만, URL로 된 멱등키에 페이지 정보가 포함되어 있어, 동일한 공지임에도 불구하고 각 공지가 존재하는 페이지에 따라 서로 다른 공지로 식별되었기 때문에 같은 공지임에도 중복으로 수집되는 문제가 있었습니다.
해결 방향
01시 17분 장애를 인지한 후 원인을 파악하기 시작하였으며, 01시 33분 추가적인 장애가 발생하지 않도록 크롤러를 중단 시켰습니다.
02시 04분, 멱등키로 사용하는 URL에서 페이지 정보를 제거하여 이러한 상황이 일어나지 않도록 수정했습니다.
2026년 9월 7일 02시 26분 경 장애
발생한 일
위 장애를 해결하면서 몇개의 글이 새로운 학사 공지로 인식 되었고, 그 글에 대한 알림이 추가로 발송 되었습니다.
원인
앞선 장애를 해결하는 과정에서 다수의 알림이 다시 가는 것을 우려하여 알림 발송 기능이 제외된 크롤링 서버를 배포하였지만, GitHub Actions를 통한 배포 시점과 Kubernetes에서 Image pull이 완료 되는 시점의 시간차로 인해 알림 발송 기능이 포함된 크롤링 서버가 수동으로 실행 되었고, 때문에 사용자에게 불필요한 알림이 발송 되었습니다.
관련된 모든 문제는 현시점 해결되었으며, 인포팀은 안정적인 서비스를 제공할 수 있도록 최선을 다하겠습니다.
새벽 시간 다량의 알림으로 인해 불편을 드려 죄송합니다.
아래는 장애 시간 흐름입니다.
- 00:44 크롤러 이미지 배포
- 01:00 배포된 크롤링 서버 실행
- 01:16 사용자에게 알림 발송 시작
- 01:17 장애 인지, 원인 파악
- 01:33 크롤러 중단
- 01:35 공지 URL에 페이지 정보가 포함되는 것을 확인, 대응 시작
- 02:04 대응버전 이미지 업로드
- 02:07 다량의 알림 발송 우려하여, 알림에 대한 코드를 주석처리하여 신규 배포
- 02:10 크롤러를 수동으로 실행하였으나, 02시 07분에 신규 배포한 서버가 적용되기 전 버전으로 실행 되어 알림이 발송 됨
- 02:15 크롤러 최종 이미지 업로드
- 02:26 02시 10분에 실행된 크롤링에 대한 알림 발송 시작